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B 98/5109 



Procede et systeme de fusion de deux images radiographiques 

numeriques. 

L'invention conceme la fusion de deux images numeriques d'un 
objet dont la premiere image privil6gie un constituant particulier de 
robjet, alors que la seconde image en privilegie un autre. 

EUe trouve une application particuliferement interessante dans le 
domaine medical, dans lequel on procede h la fusion d'une premiere image 
d'un organe corporel issue d'une scannographie avec une seconde image 
du meme organe issue d'une imagerie par resonance magn6tique (IRM). 

En effet, une image obtenue k Taide d'un scanner met 
particuli&rement en evidence la partie osseuse. Dans une telle image, la 
partie osseuse est blanche et toutes les autres parties, en particulier les 
tissus mous, sont d'un gris homogene sans contrasts Par contre, une image 
obtenue a I'aide d'une ERM met en evidence les tissus mous par differentes 
nuances de niveaux de gris, et les autres parties comme les parties 
osseuses et le vide ont une teinte noire. 

Generalement, dans le domaine mediceil, on realise la fusion 
d'une image scanner avec une image par IRM en integrant les pixels des 
parties osseuses de I'image scanner dans Timage ERM. 

Les images scanner possedent une echelle absolue de niveaux de 
gris, c'est-^-dire que toutes les images scanner sont compatibles entre 
elles, dans le sens qu'un niveau de gris donne represente toujours un 
organe particulier. Cette echelle absolue est Techelle de Hounsfield 
composee de nombres positifs et negatifs, dans laquelle le niveau 0 est le 
niveau de gris de Feau. Une image IRM ne possede pas une echelle 
absolue. Les niveaux de gris dependent du patient et des conditions 
d'acquisition de Timage. Done, d'une image IRM h Tautre, le muscle, par 
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example en taut que tissu mou, n'est pas represente par le meme niveau de 
gris. Ainsi, la fusion d'une image IRM avec une image scanner aboutit a 
une image finale dont Techelle n'est pas absolue. 

En d'autres termes, la fusion d'une image possedant une 6chelle 
5 absolue avec une autre image ne possedant pas d'6chelle absolue, aboutit a 
une image finale ne possedant pas d'echelle absolue. 

Par ailleurs, une image ne possedant pas d'echelle absolue ne 
pent etre utilisee par Tensemble des logiciels courants de traitement 
d'images scanner. En effet, tous ces logiciels utilisent un format standard 

10 de niveau de gris qui est I'echelle de Hounsfield. Ainsi, une image finale 
issue de la fusion de deux images scanner et IRM, est incompatible avec 
I'ensemble des logiciels de traitement d'images scanner, II est necessaire 
d'elaborer un logiciel specifique de traitement d'images non etalonn^es 
sur I'echelle de Hounsfield, afin de pouvoir utiliser ladite image finale. 

25 L'invention vise k apporter une solution a ce probl&me en 

effectuant une mise k I'echelle des niveaux de gris de I'image IRM, afin de 
rendre^ l'imagg finale -compatible .avee#.J'ens^^^ de 
traitement d'imaggss scanner; En d'autres- termes, I'image finale sera 
etalonnee-^sur rechelle de Hounsfield. 

20 Un but de l'invention est de reduirevle coiit du k I'investissement 

sur le developpement d'un logiciel specifique^ si Ton desire effectuer des 
traitements numeriques sur ladite image finale. 

Un autre but de l'invention est d'utiliser une image finale de 
fusion obtenue selon le procede de l'invention comme source d'image pour 

25 les logiciels de radiotherapie classique, ce qui n'est pas le cas avec les 
images fusionnees dans I'etat actuel de la technique. 

L'invention propose done un procede de fusion d'une premiere 
image radiographique numerique obtenue k la suite d'une scannographie 
avec une seconde image radiographique numerique obtenue par imagerie 

30 par resonance magnetique (IRM). 

Selon une caracteristique generale de l'invention, on selectionne 
un intervalle CT de niveaux de gris dans I'image scanner, on remplace 
chaque pixel de ladite image scanner ayant un niveau de gris compris dans 
I'intervalle CT par un pixel obtenu par traitement numerique du pixel de 

35 memes coordonnees de I'image IRM. L'image finale correspond done a 



rimage scanner dans laquelle les pixels de niveaux de gris compris dans 
rintervalle CT sont ainsi modifies. 

Par ailleurs, dans le but d'effectuer un traitement numerique 
efficace, on realise un recadrage bidimensionnel des deux images IRM et 
scanner k Taide d'au moins une operation de rotation et/ou de translation 
afin qu'un pixel de Timage scanner de coordonn6es (x,y) et un pixel de 
rimage IRM de mSmes coordonnees (x,y) representent une meme portion 
de Torgane radiographic. 

En d'autres termes, la plage de niveaux de gris correspondant 
aux tissus mous est remplac6e par une nouvelle plage de niveaux de gris. 
Les valeurs des niveaux de gris de cette nouvelle plage sont obtenues k 
partir d'un algorithme faisant intervenir certains niveaux de gris de 
rimage IRM. Pour un pixel donn6 de Tintervalle CT dans Timage scanner, 
Talgorithme calcule la valeur de niveau de gris du nouveau pixel k partir 
d'un pixel de I'image ERM ayant les memes coordonnees que le pixel de 
rintervalle CT devant etre remplace. 

Selon un mode de mise en oeuvre de Tinvention, la borne 
sup6rieure de rintervalle CT est fixee k une valeur de niveau de gris 
sur r6chelle de Hounsfield, ledit niveau de gris correspondant k la valeur 
la plus haute des niveaux de gris representatifs des tissus mous visualises 
sur rimage scanner. La bome inferieure de rintervalle CT est fixee k 
une valeur de niveau de gris sur r^chelle de Hounsfield, ledit niveau de 
gris correspondant a la valeur la plus basse des niveaux de gris 
representatifs des tissus mous visualises sur I'image sc£uiner. 

Plus precisement, on fixe deux seuils definissant I'intervalle CT 
qui correspond aux tissus mous dans I'image scanner. 

Pratiquement, on fixe B^j comme etant la valeur la plus elevee 
des tissus mous de I'image scanner et Aqj comme etant la valeur la plus 
basse des tissus mous de I'image scanner, 

L'intervalle ainsi selectionn6 est un intervalle compris dans 
I'echelle de Hounsfield, puisque I'image scanner est etalonnee suivant 
cette echelle, 

D'une fagon gen^rale, selon un mode de mise en oeuvre de 
rinvention, on selectionne un intervalle MR de niveaux de gris dans 
I'image IRM dont la bome superieure Bj^j^ correspond k un niveau de gris 



au-dessus duquel les pixels sont blancs, et la bome inferieure Aj^j^ 
correspond a un niveau de gris en dessous duquel les pixels sont noirs. 

En d'autres termes, cet intervalle prend en compte Tensemble de 
la variation de niveaux de gris de Timage IRM. Cette variation, ce 
5 constraste represente Tinformation utile sur les tissus mous. 

On possede alors deux intervalles, un premier intervalle CT de 
rimage scanner compris dans I'echelle de Hounsfield et un second 
intervalle MR de I'image IRM non lie h Techelle de Hounsfield. Ces deux 
intervalles representent un encadrement des tissus mous. 

10 Selon un mode de mise en oeuvre de I'invention, le traitement 

numerique consiste en une interpolation lineaire h Taide d'une fonction 
affine integrant la valeur des bomes inferieure superieure B^j de 

I'intervalle CT dans I'image scanner et la valeur des bomes inferieure Aj^j^ 
et superieure Bj^j^ de I'intervalle MR dans Timage IRM. 

15 Le fait de realiser une interpolation lineaire permet de respecter 

le choix de contraste dans llmage IRM. 

De preference, pour un pixel scanner ay ant un niveau de gris 
compris dans I'intervalle CT, on determine le niveau de gris Vj^j^ du pixel 
de mSmes coordonnees dans Timage IRM, puis on determine un niveau de 

20 gris dans I'intervalle CT k partir^ de ladite fonction affine et dudit niveau 
Vj^j^. Le niveau de gris Vqux de chaque pixel de I'image finale peut etre 
alors obtenu par Talgorithme suivant : 

- si Vqj < Act ' alors 

^) ^ouT ~ ^cr • 

25 

- si > » alors 

^OUT ~ ^CT ' 

- si Act < Vct"^ Bex ' alors 

30 3) Vqu^, = Act + (Bct - Act) (Vmr - Amr)/(Bmr - Aj^r). 

En d'autres termes; tout en conservant la resolution de I'image 
IRM, on realise une mise a I'echelle de I'intervalle MR de sorte que le 
niveau noir de I'image IRM correspond k la valeur la plus basse Act 
35 des tissus mous dans I'image scanner. De mSme, le niveau blanc Bj^j^ de 



rimage IRM correspond a la valeur la plus haute Bj^j^ des tissus mous dans 
rimage scanner. 

En effet : 

- pour Vj^j^ = Bj^j^ , niveau de gris le plus haut dans Tintervalle 

MR de rimage IRM, 

on obtient par 3) Vq^^ = Bq^, niveau de gris le plus haut dans 
I'intervalle CT de I'image scanner, 

- et pour Vj^j^ = Aj^R , niveau de gris le plus bas dans Tintervalle 
MR de rimage IRM, 

on obtient par 3) ^qut = A^j, niveau de gris le plus bas dans 
rintervalle CT de I'image scanner. 

La mise h rechelle fait en sorte que rintervalle MR non etalonne 
sur rechelle de Hounsfield de I'image IRM, subit un traitement numerique 
qui le fait correspondre a rintervalle CT compris dans rintervalle de 
Hounsfield. 

Ainsi, toutes les valeurs de niveaux de gris Vqux de I'image 
finale sont contenues dans rechelle de Hounsfield qui est I'echelle 
standard de traitement d'image scanner. 

L'invention a egalement pour objet un systeme de fusion d'une 
premiere image radiographique numerique obtenue par scannographie 
avec une seconde image radiographique numerique obtenue par IRM, 
comprenant : 

- un moyen de lecture de pixels de I'image scanner dont les 
niveaux de gris sont compris dans un intervalle CT predetermine, 

- un moyen de lecture de pixels de I'image IRM dont les 
coordonn6es sont identiques k celles des pixels de rintervalle CT de 
I'image scanner, 

- un moyen de calcul d'une troisieme image compos^e de I'image 
scanner dans laquelle les pixels dont les niveaux de gris sont compris dans 
rintervalle CT, sont remplaces par des pixels obtenus par traitement 
numerique des pixels de mSme coordonnees de I'image IRM pour obtenir 
une image permettant la visualisation des tissus mous et des tissus osseux. 

L'image finale obtenue est du type scanner. De ce fait, elle pent 
etre traitee par les logiciels standards tels que Advantage Sim, ou encore 




Advantage Windows 3D viewer, ce qui n'est pas le cas des images de 
fusion de Tart anterieur. Les precedes de Tart anterieur necessitent 
Tutilisation de logiciels specifiques pour pouvoir trailer leurs images de 
fusion. 

5 D'autres avantages et caracteristiques de I'invention 

apparaitront h. I'examen de la description detaill6e d'un mode de mise en 
oeuvre nuUement limitatif, et des dessins annexes, sur lesquels : 

- la figure 1 est un organigramme d'un mode de mise en oeuvre du 
procede selon Tinvention; 
IQ - la figure 2 illustre schematiquement deux images obtenues par 

un systeme de tomographic. 

En se referant plus particulierement aux trois figures 1,3 et 4, on 
realise tout d'abord I'acquisition des deux images num6riques. 
L'acquisition 1 permet d'obtenir une image scanner 1 1 illustree sur la 
15 figure 3. Cette image repr^sente une vue d'une tSte d'un patient selon un 
plan determine. On y distingue une partie exterieure k la tete, c'est-a-dire 
I'air 12 represente en noir. La zone blanche 14 correspond aux tissus 
osseux et toutes les zones grisStres 13 correspondent aux tissus mous. 
L'image scanner 11 est particuUerement interessante par le fait qu'elle 
20 privilegie la visualisation du .tissu osseux. S a principale caracteristique 
est done une mise en evidence parfaite des tissus osseux 14. Par contre, les 
zones gris§tres 13 possedent une mauvaise resolution de sorte qu'il est 
impossible de distinguer les contrastes dans les tissus mous. 

L'acquisition 2 permet d'obtenir par imagerie par resonance 
25 magnetique une image 15. EUe represente une vue d'une tete d*un patient 
selon le meme plan que l'image scanner 1 1. On y distingue egalement une 
partie noire 16 correspondant k Voir tout autour de la tete. A I'interieur de 
la tete, les zones noires 17 correspondent aux tissus osseux et a tout 
element autre que les tissus mous, comme par exemple Fair. Les zones 
30 grisatres 18 representent les tissus mous. La caracteristique principale de 
cette image est la mise en evidence des tissus mous. La resolution est 
suffisante pour distinguer les contrastes, les- elements d'inter6ts 19. Par 
contre, il est difficile de delimiter les parties osseuses 17 car elles se 
confondent avec I'air et tout autre element apparaissant en noir sur l'image 
35 15. 



Ces deux images 1 1 et 15 issues de deux m6thodes d'acquisition 
1 et 2 differentes, representent une vue de la tete selon un plan de coupe 
donn6. Ainsi, on realise un recadrage bidimensionnel 3 afin de rendre 
superposable les deux images 11 et 15. Pour cela, on effectue 
eventuellement des operations de rotation et/ou de translation. II existe 
des outils connus de Thomme du metier permettant la verification de cette 
operation de recadrage 3. On peut citer notamment Toutil utilisant un 
pointeur, c'est-^-dire que Ton pointe un element particulier sur Timage 
scanner 11 par exemple, et un curseur apparait sur le mgme element 
particulier sur Timage IRM 15. La meme idde est exploit6e dans Toutil 
utilisant une loupe de vision. 

Une fois les deux images 11 et 15 recadrees, on determine k 
I'etape 4 la valeur la plus basse tissus mous dans Timage scanner, 

par exemple -130, qui est une valeur basse de tissus mous dans Tfichelle de 
Hounsfield. On determine egalement la valeur la plus haute Bqj de tissus 
mous dans I'image scanner, par exemple 80, qui est une valeur haute de 
tissus mous dans T^chelle de Hounsfield. Ces deux valeurs sont deux 
nombres CT. Un nombre CT est d^fini k partir du coefficient d'attenuation 
du tissu consid6r6 et du coefficient d'att6nuation de Teau : 

Nombre CT = x 1000 

avec : coefficient d'attenuation de Teau 

|1q : coefficient d'attenuation du tissu consid6re. 
Le nombre CT est exprime en unit6 Hounsfield. 
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Tableau des nombres CT. 
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ELEMENTS DU CORPS HUMAIN 


NOMBRE CT 


OS (CORTEX) 


>250 


OS (MOELLE) 


130 +/- 100 


SANGCOAGULf 


80 +/- 10 


GLANDE THYROIDIENNE 


70 +/- 10 


FOIE 


50 +/- 10 


MUSCLE 


45 +/- 5 


SANG 


40 +/- 10 


CERVEAU (MATIERE BLANCHE) 


35 +/- 5 


REIN 


30 +/- 10 


CERVEAU (MATIERE GRISE) 


25 +/- 5 


TISSU ADIPEUX 


-100 +/- 10 
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On determine h T^tape 5 egalement deux valeurs et Bj^j^ sur 
I'image IRM. Aj^r est un niveau de gris tel que les niveaux de gris 
inf6rieurs sont consider6s noirsr Bj^r est un niveau de gris tel que les 
niveaux de gris superieurs sont consideres blancs. 

20 On precede ensuite k un algorithme 6 permettant la mise h 

I'echelle de I'intervalle MR. Selon un mode de mise en oeuvre pr6f6re de 
I'invention, I'algorithme 6 s'effectue conformement a la figure 2. On prend 
au cours de I'^tape 6a un pixel cible de Timage scanner de niveau de gris 
6gal k Vct- En premier lieu, on va determiner si cette valeur est incluse 

25 dans I'intervalle CT. Pour cela, on fait intervenir les deux valeurs de la 
borne inferieure de la bome superieure Bct. On compare au cours 

de I'etape 6b tout d'abord ladite valeur a la valeur Act- Si le niveau de 
gris du pixel cible est inf6rieur k Aqj , alors le pixel cible est en dehors 
de rintervalle CT, il pent done correspondre au tissu osseux 14 ou au fond 

30 noir 12 de I'image scanner. Dans ce cas, le pixel cible conserve sa valeur 
Vct sur I'image finale 20. 

Sinon, si le niveau de gris Vct ^st superieur k A^. on le compare 
au cours de I'^tape 6c la valeur Bct- Si le niveau de gris Vct du pixel cible 
est superieur k la bome superieure Bct de I'intervalle CT, alors ledit pixel 

35 cible conserve sa valeur Vct sur I'image finale 20 au cours de T^tape 



6f ,c'est-k-dire que Vq^j, le niveau de gris du pixel cible sur Timage finale 
20, est 6gal h V^- Ainsi pour une valeur V^j inf^rieure h 
superieure h Bqj, on conserve au cours de Tetape 6f ce niveau V^j en tant 
que niveau de gris Vqut Timage finale 20, 

Par contre si ^st superieur h Aqj est inferieur k alors on 
determine au cours de Tetape 6d le niveau de gris Vj^^ d'un pixel de 
rimage IRM de mSmes coordonn6es que ledit pixel cible de Timage 
scanner. Puis, on fait subir k ce niveau de gris Vj^j^ une interpolation 
lin6aire en faisant intervenir les niveaux Act,BcT'^MR ®MR- obtient 
alors au cours de r6tape 6e une nouvelle valeur Vq^^ ind6pendante de 

Ver- 

L'algorithme 6 se presente dans ce cas sous la forme : 

- si < -130 , alors 

1) ^OUT " ^CT » 

- si > 80 , alors 

- si -130 < Vqj < 80 , alors 

3) ^our = -130 + (80 + 130) (Vj^R- A^rVCBmr - A^r). 

Quelques soient les valeurs Aj^r et Bj^^r, I'image finale 20 
presente une plage de niveaux de gris conforme k Techelle de Hounsfield. 
La figure 5 presente cette image finale 20 dans laquelle on distingue h la 
fois les tissus osseux 14 et les tissus mous 18. Le fond de Timage 12 reste 
noir comme sur Timage scanner 11. 

Toutefois, pour une image scanner obtenue selon une vue des 
poumons, un pixel de niveau de gris Vqj- representatif desdits poumons 
dans rimage scanner, aura la valeur Vqu^ egal V^j dans Fimage finale 
quelque soit le niveau de gris inclus ou non dans Tintervalle CT. En 
d'autres termes, les niveaux de gris des poumons dans Timage finale sont 
les niveaux de gris des poumons dans Timage scanner, on n'applique pas 
rinterpolation lineaire sur les niveaux de gris des poumons. Cela est du au 
fait que les niveaux de gris representatifs des poumons possfedent une telle 
dynamique que Timage scanner comporte une meilleure resolution que 
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rimage IRM. 

On a ainsi determine Fimage finale 20 dont les niveaux de gris 
sont contenus dans Fechelle de Hounsfield. Cette image finale est ensuite 
sauvegard6e a Tetape 7 sous forme d'une image scanner. On pent 
5 rimprimer k I'etape 1 0 ou encore la visualiser k I'etape 8 sur un ecran pour 
une eventuelle 6tude. Mais Tavantage principal de ce precede reside dans 
le fait qu*on pent delivrer cette image a Fentree d*un systeme de traitement 
de radiotherapie standard h. Tetape 9. 

L'image finale issue de la fusion d'une image scanner avec une 
10 image IRM, met en evidence aussi bien les tissus mous que les tissus 
osseux et pent servir de source a Fensemble de logiciels standards de 
traitements d'images scanner tels que Advantage Sim, Isis, ou encore 
Advantage Windows viewer. 
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REVENDICATIONS 

1. Proced6 de fusion d*une premiere image radiographique 
numerique obtenue a la suite d'une scannographie avec une seconde image 
radiographique numerique obtenue par imagerie par resonance 
magnetique (IRM), dans lequel on selectionne un intervalle CT de niveau 
de gris dans I'image scanner, on remplace chaque pixel de I'image scanner 
ayant un niveau de gris compris dans Tintervalle CT par un pixel obtenu 
par traitement numerique du pixel de memes coordonnees de Timage IRM, 
rimage finale correspondant k Timage scanner dans laquelle les pixels de 
niveaux de gris compris dans Tintervalle CT sont ainsi modifies, 

2. Proc^de selon la revendication 1, caracteris6 par le fait qu'on 
realise un recadrage bidimensionnel des deux images IRM et scanner a 
Taide d'au moins une operation de rotation et/ou de translation afin qu'un 
pixel de ladite image scanner de coordonnees (x,y) et un pixel de rimage 
IRM de memes coordonnees (x,y) representent une meme portion de 
Torgane radiographic. 

3. ProcCde selon Tune des revendications precedentes, 
caractCrise par le fait que la borne superieure de Tintervalle CT est 
fixee a une valeur de niveau de gris sur Tfichelle de Hounsfield, ledit 
niveau de gris correspondant k la valeur la plus haute des niveaux de gris 
repr6sentatifs des tissus mous visualises sur Timage scanner. 

4. Precede selon Tune des revendications pr6c6dentes, 
caracterise par le fait que la borne inferieure A^r Tintervalle CT est 
fixee a une valeur de niveau de gris sur I'echelle de Hounsfield, ledit 
niveau de gris correspondant h la valeur la plus basse des niveaux de gris 
reprCsentatifs des tissus mous visualises sur Timage scanner. 

5. Precede selon Tune des revendications precedentes, 
caract6rise par le fait qu'on selectionne un autre intervalle MR de niveau 
de gris dans Timage IRM dont la borne superieure B^^j^ correspond h un 
niveau de gris au-dessus duquel les pixels sont blancs. 

6. Precede selon la revendication 5, caracterise par le fait que la 
borne inferieure A^^r de Tintervalle MR correspond k un niveau de gris en 
dessous duquel les pixels sont noirs. 

7. Precede selon Tune des revendications pr6c6dentes. 
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caracterise par le fait que le traitement numerique consiste en une 
interpolation lineaire. 

8. Procede selon la revendication 7, caracteris6 par le fait que 
I'interpolation lineaire fait intervenir une fonction affine integrant la 

5 valeur des homes inferieure et sup6rieure Tintervalle CT dans 

rimage scanner et la valeur des bomes inferieure Aj^^ et sup6rieure Bj^r 
de I'intervalle MR dans I'image ERM. 

9. Procede selon la revendication 8, caracterise par le fait que 
pour un pixel scanner ayant un niveau de gris compris dans 

10 I'intervalle CT, on determine le niveau de gris Vj^j^ du pixel correspondant 
dans rimage IRM, puis on determine un niveau de gris dans Fintervalle CT 
a partir de ladite fonction affine et dudit niveau Vj^j^; le niveau de gris 
Vqut chaque pixel de I'image finale est alors obtenu par Talgorithme 
suivant : 

15 

■ ^CT ^CT ' 2ilors 

- si ^^-p > BcT-^-alors:^ 

- si Act < Vct < ' ^^rs 

3) VouT = Act + (BcT - Act) (^mr- Aj^rVCB^r - a^r). 

25 10. Syst&me de fusion d'une premiere image radiographique 

numerique obtenue par scannographie avec une seconde image 
radiographique numerique obtenue par IRM, caracterise par le fait qu'il 
comprend : 

- un moyen de lecture de pixels de I'image scanner dont les 
30 niveaux de gris sont compris dans un intervalle CT predetermine, 

- un moyen de lecture de pixels de Timage IRM dont les 
coordonnees sont identiques k celles des pixels de I'intervalle CT de 
rimage scanner, 

- un moyen de calcul d'une troisieme image composee de I'image 
35 scanner dans laqueUe les pixels dont les niveaux de gris sont compris dans 
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rintervalle CT, sont remplaces par des pixels obtenus par traitement 
numerique des pixels de meme coordonnees de Timage IRM pour obtenir 
une image permettant la visualisation des tissus mous et des tissus osseux. 
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FIG.2 
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VOUT = VCT 
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f (Vmr, Act. Bct. Bmr) 
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